กระทรวงการคลังได้ถือกำเนิดขึ้นครั้งแรกเมื่อช่วงศตวรรษที่ 6 ในยุคญี่ปุ่นโบราณ ได้มีการสถาปนาตำแหน่งพระคลังมหาสมบัติ (ญี่ปุ่น: 大蔵; โรมาจิ: Ōkura) ขึ้นเพื่อดูแลพระคลัง จวบจนถึงช่วงการฟื้นฟูเมจิได้มีการก่อตั้งกระทรวงพระคลังมหาสมบัติ (ญี่ปุ่น: 大蔵省; โรมาจิ: Ōkurashō) เป็นหนึ่งในหน่วยงานราชการที่มีอำนาจหน้าที่ในการเงินสาธารณะและกิจการต่าง ๆ ที่เกี่ยวข้องกับการเงิน

กระทรวงพระคลังมหาสมบัติได้รับการยกย่องว่าเป็นกระทรวงที่มีอิทธิพลมากที่สุดในรัฐบาลญี่ปุ่น แต่หลังจากเรื่องอื้อฉาวทางการเงินในช่วงปี พ.ศ. 2533 กระทรวงฯ ได้สูญเสียอำนาจในการกำกับดูแลการธนาคารต่อสำนักงานบริการทางการเงินที่ได้ก่อตั้งขึ้นมาใหม่ นอกจากนี้ยังสูญเสียอำนาจแทบทั้งหมดในการควบคุมนโยบายทางการเงินของธนาคารแห่งประเทศญี่ปุ่นเมื่อรัฐสภาได้ผ่านกฎหมายธนาคารแห่งประเทศญี่ปุ่นในปี พ.ศ. 2541 และในเดือนมกราคม พ.ศ. 2544 ได้มีการเปลี่ยนชื่อเป็นกระทรวงการคลัง (ญี่ปุ่น: 財務省; โรมาจิ: Zaimushō) จนถึงปัจจุบัน

แม้ว่าจะมีการเปลี่ยนชื่อก็ตาม ชาวญี่ปุ่นยังคงใช้ศัพท์ "โอกูระ-ไดจิน (รัฐมนตรีฯ พระคลังมหาสมบัติ)" เพื่อกล่าวถึงบุคคลผู้ซึ่งควบคุมการเงิน (เช่นแม่บ้านที่ดูแลการเงินของครอบครัว)